AMD Instinct MI300X برای اولین بار در بنچمارک های هوش مصنوعی MLPerf v4.1، آزمایش شده با پردازنده های نسل بعدی EPYC Turin “Zen 5” ظاهر شد.
AMD Instinct MI300X برای اولین بار در بنچمارک های هوش مصنوعی MLPerf v4.1، آزمایش شده با پردازنده های نسل بعدی EPYC Turin “Zen 5” ظاهر شد.
شتاب‌دهنده‌های هوش مصنوعی Instinct MI300X AMD اولین حضور در MLPerf نسخه 4.1 و با CPUهای نسل بعدی EPYC “Turin”.
AMD Instinct MI300X و EPYC Turin “Zen 5” اولین بار در MLPerf V4.1، اولین نگاه به عملکرد Llama 2 در دنیای واقعی
امروز، AMD اولین معیارهای عملکرد آخرین مرکز داده و سخت افزار مبتنی بر هوش مصنوعی خود را در MLPerf Inference v4.1 به اشتراک می گذارد. این حجم‌های کاری برای نمایش پتانسیل سخت‌افزارهای جدید و آینده غول‌های فناوری مختلف مانند AMD، Intel و NVIDIA طراحی شده‌اند.
تیم قرمز اولین ارسال‌های خود را از شتاب دهنده Instinct MI300X در MLPerf از زمان معرفی تراشه در حالی که طعم پردازنده های آتی EPYC Turin که نسل پنجم هستند را نیز به ما می دهد. ردیف سرور بر اساس معماری هسته Zen 5.
برای ارزیابی عملکرد، AMD نتایج شتاب‌دهنده‌های هوش مصنوعی Instinct MI300X خود را ارائه کرد که بر روی سیستم Supermicro AS-8125GS-TNMR2 کار می‌کنند. چهار نتیجه در MLPerf v4.1 ارسال شد که دو مورد از آنها تحت سناریوی آفلاین و دو نتیجه تحت سناریوی سرور قرار گرفتند. تفاوت این است که دو مورد از این آزمایش ها با استفاده از پردازنده های نسل چهارم EPYC “Genoa” و دو نتیجه دیگر با استفاده از پردازنده های نسل پنجم EPYC “Turin” آینده انجام شده است.
- ترکیب عملکرد CPU-GPU:
- شناسه ارسال 4.1-0002: شتاب‌دهنده‌های 8x AMD Instinct MI300X با دو پردازنده AMD EPYC 9374F (Genoa) در دسته‌بندی موجود
- این پیکربندی هم افزایی قدرتمندی را بین شتاب‌دهنده‌های GPU AMD Instinct MI300X و پردازنده‌های EPYC نسل 4 (که قبلاً با نام رمز «جنوآ» نامیده می‌شد) برای بارهای کاری هوش مصنوعی به نمایش گذاشت و عملکردی را در 2 تا 3 درصد از NVIDIA DGX H10 ارائه کرد. با پردازنده‌های 4ام نسل Intel Xeon در هر دو حالت سرور و آفلاین با دقت FP8
- پیش نمایش عملکرد با CPU نسل بعدی:
- شناسه ارسال 4.1-0070: 8x AMD Instinct MI300X با 2x AMD EPYC “Turin” CPU در دسته Preview.
- افزایش عملکرد نسل پنجم AMD EPYC “Turin” CPU با شتاب‌دهنده‌های GPU AMD Instinct MI300X را نشان می‌دهد، دارای برتری جزئی نسبت به NVIDIA DGX H100 با Intel Xeon در سناریوی سرور و حفظ عملکرد قابل مقایسه در صفحه آفلاین دقت
- کارایی واحد پردازش گرافیکی
- شناسه ارسال 4.1-0001: شتاب‌دهنده 1x AMD Instinct MI300X با 2 x 4امین CPUهای نسل AMD EPYC 9374F (Genoa) در دسته موجود.
- این ورودی حافظه عظیم 192 گیگابایتی AMD Instinct MI300X را برجسته می‌کند، و یک GPU را قادر می‌سازد تا کل مدل LLaMA2-70B را به طور مؤثر اجرا کند، و از سربار شبکه مرتبط با تقسیم مدل در چندین GPU با دقت FP8 اجتناب شود (شکل را ببینید. 2 زیر).
- نتایج قانع کننده طراحی سرور Dell با شتاب دهنده های AMD Instinct MI300X
شناسه ارسال 4.1-0022: شتاب‌دهنده‌های 8x AMD Instinct MI300X با 2 برابر Intel(R) Xeon(R) Platinum 8460Y+ در دسته‌بندی موجود
علاوه بر موارد ارسالی AMD، Dell با ارسال نتایج آنها با LLaMA2-70B در راه‌اندازی 8x AMD Instinct MI300X با استفاده از سرور PowerEdge XE9680، عملکرد سطح پلت‌فرم شتاب‌دهنده‌های AMD Instinct را تأیید کرد.
از طریق AMD
با نگاهی به نتایج عملکرد در LLama2-70B، AMD به 21028 توکن در ثانیه در سرور و 23514 توکن در ثانیه در سناریوی آفلاین در حال اجرا بر روی CPUهای EPYC Genoa دست یافت، در حالی که پردازنده‌های نسل پنجم EPYC “Turin” با تنظیمات مشابه 22021 توکن/ثانیه در سرور و 24110 توکن در ثانیه در سناریوی آفلاین ارائه دهید. این نشان دهنده بهبود 4.7٪ و 2.5٪ نسبت به پلت فرم CPU جنوا است.
در مقایسه با NVIDIA H100، Instinct MI300X در عملکرد سرور کمی کندتر است در حالی که تفاوت در سناریوی آفلاین بیشتر می شود. پیکربندی تورین در سناریوی سرور 2 درصد سریعتر به پایان می رسد اما در سناریوی آفلاین عقب می ماند. به نظر می رسد این نتایج با نتایجی مطابقت دارد که NVIDIA در اعلامیه خود منتشر کرده است. AMD همچنین مقیاس تقریباً عالی را در Llama2-70B با استفاده از مقایسه 1 GPU و 8 GPU به نمایش گذاشته است.
در آخر، AMD مزیت حافظه ارائه شده توسط شتاب دهنده های هوش مصنوعی Instinct MI300X خود را برجسته می کند که بسیار بیشتر از آنچه در پلت فرم NVIDIA H100 ارائه شده است. MI300X حافظه کافی برای برآوردن نیازهای بزرگترین مدل های زبان در انواع فرمت های داده ارائه می دهد.
ما هیجان‌زده هستیم که همچنان تطبیق‌پذیری و عملکرد شتاب‌دهنده‌های AMD Instinct را در معیارهای آینده به نمایش بگذاریم، زیرا تلاش‌های تست و بهینه‌سازی خود را گسترش می‌دهیم. این تازه شروع سفر ماست. در ماه‌های آینده، ما قصد داریم نسخه‌های بعدی سری AMD Instinct را عرضه کنیم که از جمله پیشرفت‌های دیگر، حافظه اضافی، پشتیبانی از انواع داده‌های با دقت کمتر و افزایش قدرت محاسباتی است. ROCm آینده، بهبودهای نرم افزاری هدف را منتشر می کند، از جمله بهبودهای هسته و پشتیبانی پیشرفته کوانتیزاسیون. منتظر ارسال بعدی MLPerf ما باشید — ما مشتاقانه منتظر به اشتراک گذاشتن پیشرفت و اطلاعات خود با شما هستیم.
از طریق AMD
AMD در اینجا انجام نشده است زیرا قصد دارد پشته ROCm خود را با بهینه‌سازی‌های بیشتر نسبت به هوش مصنوعی مستحکم کند تا بتوانیم در تکرار بعدی ارسال‌های MLPerf شاهد به‌روزرسانی‌های عملکرد باشیم. در حالی که AMD برای ارسال شماره‌های MI300X زمان زیادی صرف کرد، می‌توان امیدوار بود که MI325X، که در سه ماهه آینده عرضه می شود، نتایج بسیار زودتر ارائه خواهد شد، زیرا یک نسخه اصلی است محصولی که 50 درصد ظرفیت را نسبت به MI300X افزایش می دهد. همچنین انتظار می‌رود پردازنده AMD EPYC Turin “Zen 5” در اواخر سال جاری عرضه شود، پس با ما همراه باشید.
